Het domein van Kwabeek, centraal gelegen in de vallei van de Velpe, was een leengoed van het hertogdom Brabant. Al voor 1270 stond hier al een kasteel. Op het einde van de 15de eeuw droeg het de naam "Ter Sluizen". Een gravure uit de 17de eeuw toont een hoge, met grachten omgeven middeleeuwse slottoren. Vandaag is die ingebouwd in de kasteelhoeve.
In 1719 werd een nieuw kasteel gebouwd op de oude fundamenten, in deze periode werden de wallen gedempt en het kasteel werd een landhuis. Graaf Robert de Liedekerke kocht het ganse domein in het jaar 1893, op zijn beurt liet hij talloze wijzigingen aanbrengen aan het gebouw dat een neorenaissance uitzicht krijgt. In 1923-1924 werden na verwoestingen tijdens de Eerste Wereldoorlog eens te meer verbouwingswerken uitgevoerd. Dit resulteerde in het huidig voorkomen van het kasteel. Tegen de achtergevel werd in dezelfde stijl als het hoofdgebouw een dienstvleugel aangebouwd en aan de zijde van de grote vijver werd een terras aangelegd. Het is onder deze vorm dat we het kasteel nu nog kennen.
In 1980 kocht het gemeentebestuur van Boutersem het park en het kasteel terwijl de bijgebouwen aan privépersonen werden verkocht. Sinds 1988 is het gemeentehuis van Boutersem hier gevestigd.